Data engineer
Emploi Ingénierie - Bureau d'Etudes
Strasbourg, 67, Bas-Rhin, Grand Est
Nous recherchons un Data Engineer confirmé pour intégrer une mission stratégique au sein d'une entreprise innovante dans le domaine des solutions Cloud et Data. Vous serez responsable de la collecte, de la gestion, et de la mise à disposition des données à travers la plateforme Microsoft Fabric et le cloud Azure. Ce projet nécessite une expertise dans la gestion de données massives, le développement de solutions de transformation, et la création d'architectures Cloud adaptées.
Vos missions :
- Qualification et gestion des données : collecter, transformer, structurer, nettoyer et valider les données provenant de diverses sources (structurées et non structurées).
- Cartographie des données et gestion de leur sémantique pour une meilleure intégration.
- Transformation des données avec Apache Spark et Pyspark, développement de notebooks Spark pour la gestion des données.
- Création et gestion de référentiels de données en environnement Cloud.
- Livrables attendus :
- Data Lake dimensionné et partagé
- Cartographie des données
- Solutions techniques adaptées pour les projets Cloud Azure et Microsoft Fabric
- Rapports Power BI correspondant aux besoins métiers.
Compétences et[...]